Lời giải:
$y'=3x^2-6mx+3(m^2-1)=0$

$\Leftrightarrow x^2-2mx+m^2-1=0$

$\Leftrightarrow x=m+1$ hoặc $x=m-1$

Với $x=m+1$ thì $y=-2m-2$. Ta có điểm cực trị $(m+1, -2m-2)$

Với $x=m-1$ thì $y=2-2m$. Ta có điểm cực trị $m-1, 2-2m$

$f''(m+1)=6>0$ nên $A(m+1, -2m-2)$ là điểm cực tiểu

$f''(m-1)=-6< 0$ nên $B(m-1,2-2m)$ là điểm cực đại 

$BO=\sqrt{2}AO$

$\Leftrightarrow BO^2=2AO^2$

$\Leftrightarrow (m-1)^2+(2-2m)^2=2(m+1)^2+2(-2m-2)^2$

$\Leftrightarrow m=-3\pm 2\sqrt{2}$

vì đồ thị hàm số đi qua điểm \(A\left(-1;\frac{5}{2}\right)\) nên tọa độ của A thỏa mãn phương trình sau: \(\frac{a+b}{-2}=\frac{5}{2}\Rightarrow a+b=-5\)(*)

ta tính y' có:

\(y'=\frac{\left(2ax-b\right)\left(x-1\right)-\left(ax^2-bx\right)}{\left(x-1\right)^2}=\frac{2ax^2-2ax-bx+b-ax^2+bx}{\left(x-1\right)^2}=\frac{ax^2-2ax+b}{\left(x-1\right)^2}\)

vì hệ số góc của tiếp tuyến tại điểm O(0;0) bằng 3 nên \(y'\left(O\right)=\frac{b}{\left(0-1\right)^2}=-3\Rightarrow b=-3\)

thay b=-3 vào (*) ta tìm được a=-2

vậy a=-2;b=-3

vì (C) đi qua điểm A nên tọa độ điểm A thỏa mãn pt \(y=\frac{ax^2-bx}{x-1}\) ta có \(\frac{5}{2}=\frac{a+b}{-2}\Rightarrow a+b=-5\)

vì tiếp tuyến của đồ thị tại điểm O có hệ số góc =-3 suy ra y'(O)=-3

ta có \(y'=\frac{ax^2-2ax+b}{\left(x-1\right)^2}\) ta có y'(O)=b=-3 suy ra a=-2

vậy ta tìm đc a và b

Từ điều kiện đề bài \(\Rightarrow\left\{{}\begin{matrix}a+b+c=8\\-\dfrac{b}{2a}=2\\\dfrac{4ac-b^2}{4a}=9\end{matrix}\right.\Rightarrow f\left(x\right)=-x^2+4x+5\)

a. Không tồn tại m để \(3\left|f\left(x\right)\right|+m-5=0\) có 3 nghiệm phân biệt (nếu pt đã cho có 3 nghiệm thì 1 nghiệm trong đó luôn là nghiệm kép). Có 3 nghiệm thì được (khi đó \(\dfrac{5-m}{3}=9\Rightarrow m\))

b. \(2f\left(\left|x\right|\right)-7+5m=0\Leftrightarrow f\left(\left|x\right|\right)=\dfrac{-5m+7}{2}\) (1)

Đồ thì hàm \(y=f\left(\left|x\right|\right)\) (tạo ra bằng cách bỏ phần bên trái trục Oy và lấy đối xứng phần bên phải của đồ thị \(y=f\left(x\right)\) qua):

Từ đồ thị ta thấy (1) có 4 nghiệm pb khi:

\(5< \dfrac{-5m+7}{2}< 9\) \(\Rightarrow-\dfrac{11}{5}< m< -\dfrac{3}{5}\)

a)

\(\begin{array}{l}f'\left( 1 \right) = \mathop {\lim }\limits_{x \to 1} \frac{{f\left( x \right) - f\left( 1 \right)}}{{x - 1}} = \mathop {\lim }\limits_{x \to 1} \frac{{\frac{1}{2}{x^2} - \frac{1}{2}}}{{x - 1}} = \mathop {\lim }\limits_{x \to 1} \frac{{\frac{1}{2}\left( {{x^2} - 1} \right)}}{{x - 1}} = \mathop {\lim }\limits_{x \to 1} \frac{{\frac{1}{2}\left( {x - 1} \right)\left( {x + 1} \right)}}{{x - 1}}\\ = \mathop {\lim }\limits_{x \to 1} \frac{1}{2}\left( {x + 1} \right) = \frac{1}{2}\left( {1 + 1} \right) = 1\end{array}\)

b) Phương trình đường thẳng \(d\) đi qua điểm \(M\left( {1;\frac{1}{2}} \right)\) và có hệ số góc bằng \(k = f'\left( 1 \right) = 1\) là: \(y - \frac{1}{2} = 1\left( {x - 1} \right) \Leftrightarrow y = x - 1 + \frac{1}{2} \Leftrightarrow y = x - \frac{1}{2}\).

Đường thẳng \(d\) cắt đồ thị hàm số \(\left( C \right)\) tại duy nhất điểm \(M\left( {1;\frac{1}{2}} \right)\).